When Does Muon Help Agentic Reinforcement Learning?
Muon 何时对智能体强化学习有帮助？
🧭 智能体 RL 的优化器选择与联合调参
Renmin University of China · Institute of Computing Technology, Chinese Academy of Sciences · Duke University · Institute of Automation, Chinese Academy of Sciences · Zhejiang University
稀疏奖励智能体 RL 中，Muon 仅作用于隐藏矩阵，在低学习率下使成功率最高达 0.901，远超 AdamW
📌 工作参考价值（4 点）
- 在 LLM 驱动的智能体决策任务（如多轮对话推荐、搜索 Agent）中，可尝试用 Muon 替代 AdamW 进行 RL 微调，尤其只对 Transformer 隐藏权重矩阵应用，以避免全参数替换带来的灾难性遗忘。
- 低学习率（如 1e-5）是 Muon 发挥优势的关键，联合调整 advantage estimator 和优化器能显著提升策略学习效率，实现在线推荐场景下更早达到可用成功率。
- Muon 避免了元素级自适应状态，内存开销更低，适合需要在有限资源下进行实时策略更新的在线推荐系统。
- 目前是单 seed 探索，但的提升幅度（+88%~460%）值得在业务中做多 seed 消融实验，验证其在商品搜索、内容推荐等稀疏奖励任务中的稳定性。